为了有效地学习新环境中任务的动态模型，可以调整在类似的源环境中学习的模型。但是，当目标数据集包含动态与源环境大不相同的过渡时，现有的适应方法可能会失败。例如，源环境动力学可能是在自由空间中操纵的绳索，而目标动态可能涉及碰撞和障碍物的变形。我们的关键见解是通过将模型适应仅关注源和目标动力学相似的区域来提高数据效率。在绳索示例中，调整自由空间动力学比调整自由空间动力学的同时学习碰撞动力学所需的数据要少得多。我们提出了一种适应的新方法，该方法可有效适应类似动态的区域。此外，我们将这种适应方法与先前在计划的工作结合使用，并使用不可靠的动态来制定一种称为焦点的数据有效的在线适应方法。我们首先证明，所提出的适应方法在模拟绳索操纵和植物浇水任务上相似动力学区域的预测误差在统计学上显着降低了预测误差。然后，我们展示了一项双层绳索操纵任务，该任务重点是在模拟和现实世界中实现数据效率的在线学习。

共处的触觉传感是一种基本的启发技术，用于灵巧操纵。然而，可变形的传感器在机器人，握住的对象和环境之间引入了复杂的动力学，必须考虑进行精细操纵。在这里，我们提出了一种学习软触觉传感器膜动力学的方法，该动力学解释了由握把对象和环境之间的物理相互作用引起的传感器变形。我们的方法将膜的感知3D几何形状与本体感受反应扳手结合在一起，以预测以机器人作用为条件的未来变形。从膜的几何形状和反应扳手中回收了抓握的物体姿势，从触觉观察模型中解耦相互作用动力学。我们在两个现实世界的接触任务上基准了我们的方法：用握把标记和手中旋转的绘画。我们的结果表明，明确建模膜动力学比基准实现了更好的任务性能和对看不见的对象的概括。

我们为一类不确定的控制型非线性系统提供了一种运动计划算法，该系统可以在使用高维传感器测量值（例如RGB-D图像）和反馈控制循环中的学习感知模块时确保运行时安全性和目标达到性能。首先，给定状态和观察数据集，我们训练一个感知系统，该系统试图从观察结果中倒入状态的一部分，并估计感知错误上的上限，该误差有效，在数据附近有可信赖的域中具有很高的概率。接下来，我们使用收缩理论来设计稳定的状态反馈控制器和收敛的动态观察者，该观察者使用学习的感知系统来更新其状态估计。当该控制器在动力学和不正确状态估计中遇到错误时，我们会在轨迹跟踪误差上得出一个绑定。最后，我们将此绑定到基于采样的运动计划器中，引导它返回可以使用传感器数据在运行时安全跟踪的轨迹。我们展示了我们在4D汽车上模拟的方法，6D平面四极管以及使用RGB（-D）传感器测量的17D操纵任务，这表明我们的方法安全可靠地将系统转向了目标，而无法考虑的基线，这些基线无法考虑。受信任的域或状态估计错误可能不安全。

深度学习的成功在很大程度上取决于大型数据集的可用性，但是在机器人操作中，这些数据集不存在许多学习问题。收集这些数据集是耗时且昂贵的，因此从小型数据集中学习是一个重要的开放问题。在计算机视觉中，缺乏数据的常见方法是数据增加。数据增强是通过修改现有培训示例来创建其他培训示例的过程。但是，由于任务和数据的类型不同，因此计算机视觉中使用的方法无法轻易适应操纵。因此，我们提出了一种用于机器人操作的数据增强方法。我们认为，增强应该是有效，相​​关和多样化的。我们使用这些原则将增强性形式化为优化问题，其目标函数来自物理学和对操作域的知识。该方法将刚体转换应用于几何状态和动作数据的轨迹。我们在两种情况下测试我们的方法：1）学习刚性圆柱体的平面推动动力学，以及2）学习一个约束检查器进行绳索操纵。这两种情况有不同的数据和标签类型，但是在两种情况下，对我们的增强数据进行培训可显着提高下游任务的性能。我们还展示了如何将增强方法用于现实机器人数据，以启用更多数据有效的在线学习。

我们提出了一种从本地最佳示范中学习被代表为高斯过程（GPS）的学习限制的方法。我们的方法使用Karush-Kuhn-Tucker（KKT）最优状态来确定在该规约紧密的演示中的位置，以及这些状态的约束梯度的缩放。然后，我们训练约束的GP表示，这是一致的，并概括了这些信息。我们进一步表明，GP不确定性可以在Kinodynamic RRT内使用以计划概率 - 安全的轨迹，并且我们可以利用计划者内的GP结构来恰好实现指定的安全概率。我们展示了我们的方法可以学习复杂的非线性约束，在5D非整理车，12D四轮机器和3连杆平面臂上演示，所有这些都是在需要最小的限制信息。我们的结果表明学习的GP约束是准确的，优于先前的约束学习方法，需要更高的先验知识。

可变形的物体操纵（DOM）是机器人中的新兴研究问题。操纵可变形对象的能力赋予具有更高自主权的机器人，并承诺在工业，服务和医疗领域中的新应用。然而，与刚性物体操纵相比，可变形物体的操纵相当复杂，并且仍然是开放的研究问题。解决DOM挑战在机器人学的几乎各个方面，即硬件设计，传感，（变形）建模，规划和控制的挑战突破。在本文中，我们审查了最近的进步，并在考虑每个子场中的变形时突出主要挑战。我们论文的特殊焦点在于讨论这些挑战并提出未来的研究方向。

We present a novel dataset named as HPointLoc, specially designed for exploring capabilities of visual place recognition in indoor environment and loop detection in simultaneous localization and mapping. The loop detection sub-task is especially relevant when a robot with an on-board RGB-D camera can drive past the same place (``Point") at different angles. The dataset is based on the popular Habitat simulator, in which it is possible to generate photorealistic indoor scenes using both own sensor data and open datasets, such as Matterport3D. To study the main stages of solving the place recognition problem on the HPointLoc dataset, we proposed a new modular approach named as PNTR. It first performs an image retrieval with the Patch-NetVLAD method, then extracts keypoints and matches them using R2D2, LoFTR or SuperPoint with SuperGlue, and finally performs a camera pose optimization step with TEASER++. Such a solution to the place recognition problem has not been previously studied in existing publications. The PNTR approach has shown the best quality metrics on the HPointLoc dataset and has a high potential for real use in localization systems for unmanned vehicles. The proposed dataset and framework are publicly available: https://github.com/metra4ok/HPointLoc.

In this paper we study the smooth strongly convex minimization problem $\min_{x}\min_y f(x,y)$. The existing optimal first-order methods require $\mathcal{O}(\sqrt{\max\{\kappa_x,\kappa_y\}} \log 1/\epsilon)$ of computations of both $\nabla_x f(x,y)$ and $\nabla_y f(x,y)$, where $\kappa_x$ and $\kappa_y$ are condition numbers with respect to variable blocks $x$ and $y$. We propose a new algorithm that only requires $\mathcal{O}(\sqrt{\kappa_x} \log 1/\epsilon)$ of computations of $\nabla_x f(x,y)$ and $\mathcal{O}(\sqrt{\kappa_y} \log 1/\epsilon)$ computations of $\nabla_y f(x,y)$. In some applications $\kappa_x \gg \kappa_y$, and computation of $\nabla_y f(x,y)$ is significantly cheaper than computation of $\nabla_x f(x,y)$. In this case, our algorithm substantially outperforms the existing state-of-the-art methods.

Domain adaptation of GANs is a problem of fine-tuning the state-of-the-art GAN models (e.g. StyleGAN) pretrained on a large dataset to a specific domain with few samples (e.g. painting faces, sketches, etc.). While there are a great number of methods that tackle this problem in different ways there are still many important questions that remain unanswered. In this paper, we provide a systematic and in-depth analysis of the domain adaptation problem of GANs, focusing on the StyleGAN model. First, we perform a detailed exploration of the most important parts of StyleGAN that are responsible for adapting the generator to a new domain depending on the similarity between the source and target domains. In particular, we show that affine layers of StyleGAN can be sufficient for fine-tuning to similar domains. Second, inspired by these findings, we investigate StyleSpace to utilize it for domain adaptation. We show that there exist directions in the StyleSpace that can adapt StyleGAN to new domains. Further, we examine these directions and discover their many surprising properties. Finally, we leverage our analysis and findings to deliver practical improvements and applications in such standard tasks as image-to-image translation and cross-domain morphing.

By transferring knowledge from large, diverse, task-agnostic datasets, modern machine learning models can solve specific downstream tasks either zero-shot or with small task-specific datasets to a high level of performance. While this capability has been demonstrated in other fields such as computer vision, natural language processing or speech recognition, it remains to be shown in robotics, where the generalization capabilities of the models are particularly critical due to the difficulty of collecting real-world robotic data. We argue that one of the keys to the success of such general robotic models lies with open-ended task-agnostic training, combined with high-capacity architectures that can absorb all of the diverse, robotic data. In this paper, we present a model class, dubbed Robotics Transformer, that exhibits promising scalable model properties. We verify our conclusions in a study of different model classes and their ability to generalize as a function of the data size, model size, and data diversity based on a large-scale data collection on real robots performing real-world tasks. The project's website and videos can be found at robotics-transformer.github.io